4月25-29日，2022年第10屆國際表示學(xué)習(xí)大會(ICLR)以線上的方式召開，這也是從2020年開始，ICLR連續(xù)三年在線上舉辦。但這絲毫不影響這個只有10年歷史的“年輕”學(xué)術(shù)會議，被學(xué)術(shù)研究者們廣泛認可，成為 “人工智能學(xué)術(shù)會議領(lǐng)域的一匹黑馬”。
隨著人工智能領(lǐng)域的快速發(fā)展，近年來，深度學(xué)習(xí)在語音識別、圖像分析和自然語言處理領(lǐng)域得到了廣泛的應(yīng)用和發(fā)展。深度學(xué)習(xí)的基礎(chǔ)是機器學(xué)習(xí)，當(dāng)然對于機器學(xué)習(xí)而言，僅學(xué)會深度學(xué)習(xí)是遠遠不夠的，通過學(xué)習(xí)獲得特征向量的“表示學(xué)習(xí)”才是人工智能的進階之路，這也是“表示學(xué)習(xí)”這個“陌生名詞”近年來在人工智能領(lǐng)域，逐漸占據(jù)舉足輕重位置的重要原因。
○ ○ ○
傳統(tǒng)機器學(xué)習(xí)很依賴人工
表示學(xué)習(xí)一詞由英文的“representation learning”而來，也會被稱為表征學(xué)習(xí)，目前業(yè)界還沒有統(tǒng)一的叫法。
眾所周知，數(shù)據(jù)是機器學(xué)習(xí)的核心，它決定了機器學(xué)習(xí)的上限，有至關(guān)重要的作用。在人類和大量數(shù)據(jù)的幫助下，電腦可以表現(xiàn)得十分強大，但是離開了這兩者，它甚至都不能分辨一只貓和一只狗。
事實上，這并非調(diào)侃，因為傳統(tǒng)的機器學(xué)習(xí)非常依賴于人工經(jīng)驗。
舉個例子來說，在計算機當(dāng)中，我們要把一張臉保存起來并識別，需要程序員自己編寫一串代碼，用以表示人臉。這種方法雖然理論上可行，但是畢竟是人確定的，人難免會出錯，一千張人臉就得寫一千種代碼，與其說是人工智能，更像是“人力工程”。
并且，機器學(xué)習(xí)的模型通用性往往較差，很難像人一樣，能夠進行快速靈活地學(xué)習(xí)與應(yīng)用。比如教一個咿呀學(xué)語的小朋友“什么是蘋果”，大人只需要指著蘋果說“蘋果”十幾次甚至幾次，孩子一般就能快速識別各種顏色和形狀的蘋果。但對于機器來說，需要看幾千個甚至幾萬個蘋果的照片才能做到，再復(fù)雜一些的語音識別，則可能需要數(shù)百萬個示例。
為什么會出現(xiàn)這種情況?令人遺憾的是，這些問題至今還沒有確切答案。編碼是處理信息的第一步，那么人類是如何對圖像進行編碼的?他提取了哪些特征可以通過少量樣本進行學(xué)習(xí)?這些我們都還不清楚，但這至少給科研人員確定了一個方向，必須對機器進行訓(xùn)練，讓它們自己掌握確定向量的能力，才能向人腦的方向進化。
○ ○ ○
給機器“授之以漁”
因此，表示學(xué)習(xí)的概念開始被引入。簡單來說，在機器學(xué)習(xí)領(lǐng)域，表示學(xué)習(xí)就是一種將原始數(shù)據(jù)，轉(zhuǎn)換成為更容易被機器學(xué)習(xí)應(yīng)用數(shù)據(jù)的過程。
表示學(xué)習(xí)中，有兩個核心問題非常關(guān)鍵，一個是“什么是一個好的表示”，另外一個則是“如何學(xué)習(xí)到好的表示”。
表示學(xué)習(xí)的目的，是把復(fù)雜的原始數(shù)據(jù)化繁為簡，把原始數(shù)據(jù)提煉成更好的數(shù)據(jù)表達，使后續(xù)的任務(wù)事半功倍。這與我們耳熟能詳?shù)闹V語“授之以魚不如授之以漁”頗有些相似，只不過到了計算機領(lǐng)域中，這種“漁”變得更加復(fù)雜和抽象起來。
清華大學(xué)計算機學(xué)院教授鄧志東告訴記者：“表征(表示)就是分層特征向量表達的意思，所謂表征(表示)學(xué)習(xí)，說的就是深度卷積神經(jīng)網(wǎng)絡(luò)，某種意義上，也可以看成是深度學(xué)習(xí)的另一種說法和表述。”
深度學(xué)習(xí)是當(dāng)前機器學(xué)習(xí)的一個熱門領(lǐng)域，也被認為是第三次人工智能浪潮發(fā)展的助推器：相對于淺層學(xué)習(xí)依靠人工經(jīng)驗抽取樣本特征，獲得的沒有層次結(jié)構(gòu)的單層特征而言，深度學(xué)習(xí)通過對原始信號進行逐層特征變換，將樣本在原空間的特征表示變換到新的特征空間，自動地學(xué)習(xí)得到層次化的特征表示，從而更有利于分類或特征的可視化。
所以從本質(zhì)上來看，表示學(xué)習(xí)是深度學(xué)習(xí)的進階版：“表示學(xué)習(xí)的算法包括了監(jiān)督、半監(jiān)督、強化和無監(jiān)督學(xué)習(xí)方法等多種，范圍比完全監(jiān)督的深度卷積神經(jīng)網(wǎng)絡(luò)更寬廣，研究的意義也就更深遠。”鄧志東說。
日常生活中，表示學(xué)習(xí)也有不少具體的應(yīng)用案例：例如我們?nèi)粘Ｊ褂玫?ldquo;小紅書”“大眾點評”“美團”“淘寶”等手機應(yīng)用，首頁推薦欄目的內(nèi)容來源，就是利用表示學(xué)習(xí)的算法特點，記錄用戶瀏覽時的商品特征、狀態(tài)與上下文信息，最終形成的內(nèi)容。
同時，表示學(xué)習(xí)在認知過程當(dāng)中，也發(fā)揮著非常重要的作用。比如人們研究開發(fā)自動駕駛技術(shù)的核心目的，就是讓機器認知事物，利用機器代替人類，實現(xiàn)防止前方碰撞、防止偏離車道、保持車距等。
○ ○ ○
能“解決婚戀”的ICLR
表示學(xué)習(xí)從結(jié)構(gòu)上講是數(shù)據(jù)的一個預(yù)處理手段，就如同當(dāng)下的人工智能發(fā)展水平，表示學(xué)習(xí)還有很多不盡人意之處，對它深層次的邏輯和方法，也有很多可以挖掘和探討的內(nèi)容。
因此在2013年，國際表示學(xué)習(xí)大會(ICLR)誕生了，ICLR最早從國際人工智能及統(tǒng)計會議中脫胎，是由深度學(xué)習(xí)三大巨頭之二的約書亞·本吉奧和楊立昆牽頭創(chuàng)辦的。
本吉奧是蒙特利爾大學(xué)教授，他領(lǐng)導(dǎo)的蒙特利爾大學(xué)人工智能實驗室(MILA)是世界上最大的人工智能研究中心之一，與谷歌有著密切的合作。楊立昆不僅是Facebook首席人工智能科學(xué)家和紐約大學(xué)教授，還是圖靈獎獲得者，被譽為“卷積神經(jīng)網(wǎng)絡(luò)之父”。
在ICLR之前，人工智能、深度學(xué)習(xí)領(lǐng)域的學(xué)術(shù)會議，還缺乏一個場所，能讓學(xué)者們交流分享在表示學(xué)習(xí)中所遇到與關(guān)心的話題，而ICLR 的出現(xiàn)恰好彌補了這樣的空白，所以ICLR得到了快速的發(fā)展。
此外ICLR推行的Open Review (公開評審)論文評審制度，也讓參與者紛紛拍手叫好：根據(jù)規(guī)定，所有提交的論文都會公開姓名等信息，任何學(xué)者都可或匿名或?qū)嵜卦u價論文。而在公開評審結(jié)束后，論文作者也能夠?qū)φ撐倪M行調(diào)整和修改。
2020年，人們在瀏覽ICLR論文時“震驚”地發(fā)現(xiàn)，一名叫Yu Rong的中國年輕人論文在致謝部分一本正經(jīng)地寫道：“本研究受國家科技部重大專項資助。另外，Yu Rong特別要感謝Yunman Huang多年來的關(guān)愛和支持，你愿意嫁給我么?”
論文中求婚得到了積極的反饋，被求婚的這位女士在社交媒體平臺上進行了回復(fù)：“我就是被求婚的這位!作者已經(jīng)成功了!”隨即網(wǎng)友們也紛紛送上了祝福。
至此ICLR開始迅速“出圈”。甚至有人調(diào)侃，在ICLR上發(fā)布論文不僅能夠普及學(xué)術(shù)成果，獲得“科學(xué)食糧”，還能夠增加求婚成功的幾率，高效解決當(dāng)下年輕人婚戀問題，播下“愛情的種子”，可謂一舉多得。
不到10年的時間，ICLR已經(jīng)成長為人工智能、深度學(xué)習(xí)領(lǐng)域最具看點的學(xué)術(shù)會議，未來可期。這是表示學(xué)習(xí)本身快速發(fā)展的一個縮影，也從另一方面說明，表示學(xué)習(xí)可能正在成為推動人工智能新一輪快速發(fā)展的又一“利器”。
營業(yè)執(zhí)照公示信息